Lý Tùng Kha sinh ngày 23 tháng 1 năm Ất Tị (11 tháng 2 năm 885, thời Đường Hy Tông) tại Bình Sơn[c 1]. Ông vốn mang họ Vương, mẹ mang họ Ngụy, cả hai đều là người Bình Sơn.[3][5]

Đến thời gian niên hiệu Cảnh Phúc (892-893) thời Đường Chiêu Tông, khi Lý Tự Nguyên- đang là bộ tướng dưới quyền cha nuôi Hà Đông[c 2] tiết độ sứ Lý Khắc Dụng- đang lược đoạt khu vực dưới sự chỉ huy của Lý Khắc Dụng, Lý Tự Nguyên bắt mẹ con Ngụy thị đem về làm thiếp.[5][6] Lý Tự Nguyên nhận nuôi và đặt tên ông là Tùng Kha.[3][7] (Lý Tùng Kha có lẽ lớn tuổi hơn tất cả các con đẻ của Lý Tự Nguyên, do độ tuổi của Lý Tùng Thẩm (李從審) và Lý Tùng Vinh không được ghi lại, còn Lý Tùng Hậu và Lý Tùng Ích, được sinh khá lâu sau đó.)[8][9] Ông có tiểu tự là "Nhị Thập Tam", hay gọi tắt là "A Tam" theo sinh nhật của mình.[3]

Khi còn nhỏ, Lý Tùng Kha được miêu tả là cẩn trọng và ít nói. Theo một tường thuật mà Lý Tự Nguyên nêu ra sau này, gia cảnh của Lý Tự Nguyên đương thời không giàu sang, và thường không đủ tiền sinh hoạt. Lý Tùng Kha giúp đỡ gia đình bằng cách thu lượm vôi và phân ngựa về để dùng hoặc bán.[3] Ngụy thị mất vào năm sau khi bà bị bắt và được an táng tại Thái Nguyên, thủ phủ của Hà Đông.[5]